Ông sinh tại Đập Đá, An Nhơn, Bình Định, là con thứ 11 của gia đình trung lưu. Anh của ông là nhà văn Phạm Văn Ký và nhà văn Phạm Hổ. Từ năm 1947 đến năm 1949, ông học và hoạt động văn nghệ trong trường Thiếu sinh quân ở Liên khu V.

Lúc nhỏ, ông có năng khiếu vượt trội về sáo. Tuy nhiên, lòng đam mê sáo của ông không được cha ủng hộ vì cho rằng chơi sáo dễ mắc bệnh lao nên khuyên ông chơi guitar. Năm 16 tuổi (chỉ 2 năm sau khi biết chơi guitar), ông vinh dự nhận giải thưởng Phạm Văn Đồng. Giám khảo lúc bấy giờ là nhạc sĩ Phan Huỳnh Điểu.

Đầu thập niên 1950, ông làm công tác tuyên huấn và làm phóng viên cho báo Quân đội Nhân dân. Nhạc phẩm đầu tay của ông là "Nắng lên xóm nghèo".

Sau hiệp định Geneve, ông được bố trí ở lại Miền Nam. Năm 1959, ông học trường Quốc gia Âm nhạc Sài Gòn. Từ 1959 đến 1970 ông dạy Việt văn và âm nhạc tại các trường trung học tư thục Bồ đề, Tây Hồ, Sao Mai, Bán Công, Nguyễn Công Trứ, Tân Thanh,... ở Đà Nẵng. Trong những năm 1965–1966, ông bị chính quyền Việt Nam Cộng hòa bắt giam vì đấu tranh trong phong trào Phật giáo (thời gian này ông sáng tác bài nhạc bất hủ "Bông hồng cài áo", lấy ý từ thơ Thích Nhất Hạnh). Ra tù, ông sáng tác các bài hát như "Hoa vẫn nở trên đường quê hương," "Người về thành phố," "Những người không chết"... được phổ biến trong phong trào học sinh – sinh viên Sài Gòn. Từ năm 1970 đến 1975, ông là trưởng phòng Văn – Mỹ – Nghệ của Viện Đại học Vạn Hạnh.

Trong thời gian công tác tại Viện Đại học Vạn Hạnh, ông xem Nguyễn Thị Diệu Lý (sinh viên của trường) hát bài "Bông hồng cài áo" trong lần đầu tiên được chọn vào Đội văn nghệ Vạn Hạnh. Việc Diệu Lý chọn bài hát "Bông hồng cài áo" cũng tình cờ vì cô thích bài hát này cũng như đáp ứng tính công chúng thời đó. Đến khi cô trở thành giọng ca chính của Vạn Hạnh thì Diệu Lý mới biết tác giả của "Bông hồng cài áo" là người thầy lâu nay chỉ huy dàn hợp xướng Vạn Hạnh. Và điều bất ngờ đến với cả hai là họ đều là người đồng hương Bình Định (quê Diệu Lý ở thành phố Quy Nhơn). Dù ông lớn hơn cô hơn 20 tuổi nhưng cả hai cùng chung quan điểm sống và nảy sinh tình cảm. Họ chính thức kết hôn năm 1975. Hầu hết các tập nhạc của ông đã được xuất bản đều có chung tên người trình bày (kẽ nhạc) là Diệu Lý. Bạn bè của ông thường nói, có hai người phụ nữ ảnh hưởng lớn đến cuộc đời sáng tác của Phạm Thế Mỹ. Người thứ nhất là mẹ ông. Người thứ hai chính là vợ, ca sĩ Diệu Lý.

Sau năm 1975, ông công tác tại Phòng Văn hóa – Thông tin Quận 4, Thành phố Hồ Chí Minh. Ông bắt đầu sáng tác những bài hát nhạc đỏ như: "Nhớ ơn Bác, nhớ ơn Đảng" (Giải nhì Hội Âm nhạc thành phố Hồ Chí Minh), "Thắm đượm duyên quê," "Lêna Belicova"...

Sau khi nghỉ hưu, ông sống âm thầm, thiếu thốn tại căn nhà chung cư ở Quận 4, Thành phố Hồ Chí Minh.

Ông mất vào lúc 3 giờ sáng ngày 16 tháng 1 năm 2009, sau thời gian dài bị bệnh, ở tuổi 79. Trước khi ông mất, nằm trên giường bệnh ông cũng kịp hoàn chỉnh hai trường ca lớn là "Con đường thế kỷ" (đường Hồ Chí Minh) và "Gió Củ Chi".